Подробное описание модели: https://github.com/Koziev/chatbot/blob/master/PyModels/trainers/README.wordchar2vector.md
Исходники выложены в репо https://github.com/Koziev/chatbot, в частности код тренера и скрипт запуска обучения.

( Read more... )

Продолжение поста https://kelijah.livejournal.com/237155.html.

То, что казалось достаточно очевидным и логичным, стало интересным при увеличении количества исходных данных. Я погонял обучение модели на новых batch_size и даже по 2 раза для некоторых batch_size, и получается вот такое облако для максимальной достигаемой точности при разных ( Read more... )

Сама модель описана тут, это просто seq2seq автоэнкодер для цепочек символов. Реализующий ее на Python+Keras код лежит тут.
Тетрадка для визуализации доступна по этой ссылкеВ ходе обучения в файле сохраняем instance accuracy - долю слов, которые точно восстановлены декодером. Эта метрика показана на графиках ( Read more... )

Приятно, что идея строить векторные представления для частей слов, воплощенная в этой программке https://github.com/Koziev/Word2Vec/blob/master/PyUtils/wordparts.py, была шагом в верном направлении, если внимательно посмотреть на статью "Enriching Word Vectors with Subword Information" от группы разрабов из FB.

Для эксперимента WordRepresentations делаю последний вариант получения векторного представления слов с помощью автоэнкодеров.

( Read more... )

Для эксперимента с оценкой вариантов представления слов добавил сверточную архитектуру - см. файл wr_keras.py и константу NET_ARCH.

С поправкой на большую variance, характерную для сверточного варианта в сравнении с feed forward MLP, эта сетка бьет MLP с ощутимым запасом. Например, для 4-грамм имеем:
( Read more... )

Репозиторий эксперимента: https://github.com/Koziev/WordRepresentations

Сделал условный grid search для основных гиперпараметров. Для 2-грамм и 3-грамм эксперимент закончен, для 4-грамм продолжается:
( Read more... )

[начало тут http://kelijah.livejournal.com/212124.html]
Использование word2vec встраиваний и обучаемость слоя Embedding
Для word-level моделей слова переводятся в понятную сетке числовую векторную форму с помощью слоя Embedding (https://keras.io/layers/embeddings/). Матрицу весов можно инициализировать случайными числами, а можно загрузить векторы ( Read more... )

Ранее ( http://kelijah.livejournal.com/197813.html) я описывал алгоритм получения SDR из word2vec векторов через факторизацию матрицы.

Далее опишу более прямой и проще модифицируемый способ получения SDR для слов с помощью deep learning автоэнкодера.
( Read more... )

(Продолжение - см. часть 1 syntax_chars)

На уровне цепочки слов есть множество вариантов построения сеточной модели, которая будет выдавать матрицу связности слов. Кратко опишу результаты для двух экспериментальных моделей - syntax_w2v_rnn и syntax_ff.
( Read more... )